Arthur dibebaskan dari penjara pada tahun 1932 dan menyertai Fred dan Karpis, dan geng teras itu telah ditambah dengan rakan jenayah yang lain. Kumpulan itu berpindah ke Chicago tetapi memutuskan untuk pergi kerana Karpis tidak mahu bekerja untuk Al Capone. Racketeer Jack Peifer mencadangkan agar mereka berpindah ke St. Paul, Minnesota yang mempunyai reputasi pada masa itu sebagai tempat perlindungan penjenayah yang dikehendaki.[4] Jenayah paling terkenal Geng Barker–Karpis telah dilakukan selepas berpindah ke St. Paul, semasa mereka menetap di beberapa rumah sewa. Kumpulan itu beroperasi di bawah perlindungan ketua polis St. Paul Thomas "Big Tom" Brown, dan mereka berubah daripada menjadi perompak bank kepada penculik di bawah bimbingannya.[5]

Suami sedara Ma, Arthur Dunlop, dikatakan longgar apabila mabuk, dan dia tidak dipercayai oleh ahli kumpulan itu; Karpis menyifatkan dia sebagai "sakit di pantat".[6] Semasa berada di satu tempat persembunyian, seorang penduduk mengenal pasti kumpulan itu daripada gambar dalam majalah True Detective (majalah) dan memberitahu polis, tetapi Ketua Brown memberitahu mereka dan mereka melarikan diri. Kumpulan itu nampaknya percaya bahawa bibir longgar Dunlop telah melepaskan mereka, dan mereka membunuhnya semasa dalam perjalanan. Mayatnya yang telanjang ditemui berhampiran Webster, Wisconsin dengan satu kesan peluru di kepala.[6] Chief Brown's involvement in the gang's escape could not be proven, but he was demoted to the rank of detective and was later dismissed from the police force altogether.[7]

Kumpulan itu berpindah ke Menomonie, Wisconsin, dan Fred Barker menyembunyikan Ma di pelbagai hotel dan tempat persembunyian semasa mereka tinggal di sana. Tujuannya adalah untuk menghalangnya daripada mengetahui banyak tentang jenayah kumpulan itu, serta memisahkannya daripada teman wanita mereka, yang dia tidak serasi. FBI kemudian mendakwa bahawa dia akan cuba memecahkan sebarang hubungan, supaya "wanita lain dalam kumpulan itu" melakukan yang terbaik untuk mengelakkannya.[6] Menjelang 1933, kebanyakan kumpulan itu kembali ke St. Paul di mana mereka melakukan dua penculikan ahli perniagaan kaya. Mereka memperoleh $100,000 sebagai wang tebusan dengan menculik William Hamm, kemudian mengatur penculikan Edward Bremer yang memberi mereka wang tebusan $200,000. FBI mula-mula menghubungkan kumpulan itu dengan penculikan William Hamm dengan menggunakan kaedah baharu pengenalan cap jari terpendam.[8] Kumpulan itu memutuskan untuk meninggalkan St. Paul dengan FBI mengenai kes itu dan tanpa Tom Brown membekalkan maklumat; mereka berpindah ke kawasan Chicago, menyewa apartmen untuk Ma semasa mereka cuba mencuci wang tebusan.[9]